??數(shù)據(jù)存儲已成為工作、生活中必不可少的一部分。中國目前的大數(shù)據(jù)時代發(fā)展迅速，傳統(tǒng)的數(shù)據(jù)存儲備份已無法滿足用戶的需求，而木橋比較常用的數(shù)據(jù)處理方式可分為實時處理和離線處理。

??

數(shù)據(jù)的分類

??一．實時處理：Flume+Kafka+Storm+Mongo

通過Flume進行數(shù)據(jù)的的采集，將數(shù)據(jù)推送給Kafka作為數(shù)據(jù)的緩存層，Storm作為kafka的消費者，從而進行實時的處理。最終，通過Web展示給前端，能夠?qū)崟r統(tǒng)計和分析車輛的在線總數(shù)，軌跡點總數(shù)，對此可以做一些相關(guān)的應(yīng)用。

??數(shù)據(jù)來源：主要是Nginx 服務(wù)器獲取的GPS數(shù)據(jù)和MSp數(shù)據(jù)格式都是JSON。

??數(shù)據(jù)采集：通過Flume的攔截器對日志進行預(yù)處理，將數(shù)據(jù)存儲在緩存層kafka。

??數(shù)據(jù)統(tǒng)計：通過Storm實時拉取數(shù)據(jù)做計算，將臨時結(jié)果數(shù)據(jù)存儲在Redis。

??數(shù)據(jù)落地：最終的數(shù)據(jù)存儲在Mongo中，定時獲取Redis中的數(shù)據(jù)，存儲在Mongo。

??Web展示：查詢數(shù)據(jù)庫定時更新前端頁面，可以查看車輛的一些情況。

??二．離線處理：hadoop +hive

Hadoop分布式存儲+分布式運算的框架，可以對海量數(shù)據(jù)進行統(tǒng)計分析，解決單節(jié)點極限性。

通過編寫MapReduce可以批量統(tǒng)計某個地域的車輛里程情況、道路等級，通過速度判斷車型、車輛駕駛情況等，使用Hive做數(shù)據(jù)倉庫，可以統(tǒng)計最近一年或者兩年的數(shù)據(jù)，進行數(shù)據(jù)的建模和歷史數(shù)據(jù)的統(tǒng)計和分析。

常用的離線數(shù)據(jù)存儲備份有磁盤、光盤庫等存儲方式。可有效的避免因為網(wǎng)絡(luò)、黑客等原因造成的數(shù)據(jù)丟失等問題，更好的對數(shù)據(jù)進行了保護。更詳細離線數(shù)據(jù)處理方案等咨詢可致電“成都吉福匯”，專業(yè)的技術(shù)和服務(wù)團隊，為您提供專業(yè)的解決方案。

??400-028-4366/028-85538251